AI Papers Daily

#cost-accuracy tradeoff

2 篇

Circuits of LLM Classifiers

LLM 分类器的电路化组合与成本优化

🧭 LLM 多分类器自适应组合与成本优化

Harvard School of Engineering and Applied Science · Kempner Institute for the Study of Natural & Artificial Intelligence · School of Electrical and Computer Engineering, Georgia Institute of Technology · Department of Electrical and Computer Engineering, University of California, Santa Barbara · Center for Computational Mathematics, Flatiron Institute

将多个 LLM 分类器组织为自适应查询电路，以更低成本突破路由/级联的准确率前沿

📌 工作参考价值（4 点）

• 在电商/广告/搜索中，LLM 常用于意图分类、商品属性打标、内容审核、相关性评分等；借鉴电路思想，将不同 prompt/模型/温度配置视为带成本的分类器，基于混淆矩阵动态调度，比固定级联更省调用成本。
• 工程实现上，可把每个 LLM 分类器封装为统一 Query/Decision 节点，离线用验证集估计各节点的 per-class 错误率和成本，再用动态规划搜索给定预算下的最优执行路径；在线按查表决策，适合批量打标和实时流量。
• 需要低成本高可靠性的 LLM 评审或 guardrail 场景，可先用便宜模型筛简单样本，对不确定性样本再追加强模型或 self-consistency，但要预先校准各分类器的条件错误率，避免误差传播。
• 对 Agent 评估 / 自动评测 / 推荐理由质量把关等任务，论文结论支持在多个弱监督信号之间做电路化融合，不等同于简单投票或级联，能更高效利用算力预算。

LLM | 2026-10-21 | cs.LG | score 7/10

LLM classifierscost-accuracy tradeoffroutingcascadinginference optimizationensembling

On the Fragility of Tasks under Composition: Implicit Budgeting in Language Models

语言模型组合任务脆弱性：隐式推理预算的作用

🧭 LLM 推理预算与任务脆弱性

TU Munich · MIT CSAIL

发现 LLM 在单 prompt 组合多任务时按比例压缩每任务推理 token，导致长推理任务更易出错，并可按脆弱性分组省 43% token

📌 工作参考价值（4 点）

• LLM 工作流（如批量商品属性提取、query 意图分类、评论摘要）避免把需要长 CoT 的高难度任务和简单任务塞进同一个 prompt；长推理任务单独调用或降低组合度，减少组合脆弱性。
• 利用 fragility 分组调度：把相似推理预算需求的任务放在同一批 prompt，能在不损失准确率下显著降低 token 成本（论文 43%），适合线上成本敏感场景。
• 监控单任务在组合前后的 token 消耗与错误率变化，识别“脆弱任务”；对关键链路（如广告文案生成、排序解释）设置每任务最小推理预算或独立验证。
• 在 Agent 规划时注意每个子任务被隐式压缩，设计更短推理路径或为关键决策提供单独预算/步骤。

Reasoning | 2026-10-18 | HF Daily | score 7/10

implicit budgetingtask compositionreasoning tokensLLM evaluationcost-accuracy tradeoff